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纵向 数据 下 部 分 线性 EV 模型 的 变量 选择 * 


BAF, BRI, 程 维 虎 ? 
(1- 重庆 工商 大 学 数学 与 统计 学 院 ， 重 庆 400067; 2- 北京 工业 大 学 应 用 数理 学 院 ， 北 京 100124) 
摘 要 : 本 文 考虑 了 纵向 数据 下 部 分 线性 EV 模型 的 变量 选择 问题 ， 采 用 SCAD 惩罚 方法 提出 了 一 个 变量 
选择 过 程 . 通过 选择 适当 的 惩罚 参数 ， 证 明了 该 变量 选择 过 程 可 以 相合 地 识别 出 真实 模型 ， 并 且 
所 得 的 正则 估计 具有 Orcale 性质. 最 后 模拟 研究 了 所 提出 方法 的 有 限 样本 性 质 . 
关键 词 : 部 分 线性 EV 模型 ， 估 计 理 论 ; 数据 分 析 ; SCAD 惩罚 ! Orcale 性 质 
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1 引言 


n 个 个 体 的 数据 ， ee eat =1,2,---,n, PA = 
量 ， ， 其 中 Xij 是 px1 向 量 而 到 是 数量 或 时 间 . Fase OER SER 由 下 式 给 


Yi; = XZB + g(Tiz) + Eijs (1) 
其 中 6 是 p x 1 未 知 回归 系数 向 量 ，g(t) 是 未 知 的 基准 函数 ，sij 是 随机 误差 ， 且 满足 
E(ei;|Xij,Tij) =0 H o2(t) = E(e?,|Ty = t). 


ARRE, BOE Tiy 在 闭 区 间 (0, 1) 上 取 值 ， 进 一 步 假定 来 自 不 同 个 体 的 观测 独立 . 
本 文 感 兴 趣 的 是 模型 (1) 中 协 变量 Xi 不 能 直接 观测 到 的 情形 ， 即 协 变量 带 有 测量 误差 


Wij = Xij +Uijz, t=1,2,---,n, j=1,2,.. ,ma, (2) 


其 中 ， 测 量 误差 0; 为 ii.d. 随 机 变量 ,与 (Yi;,7Ti;, Xi) 独 立 ， 均 值 为 零 ， 协 方差 阵 为 Zuu， 
式 (1) 和 式 (2) 被 称 为 部 分 线性 测量 误差 模型 或 部 分 线性 EV (errors-in-variables) 模型 。 本文 考 
HB Dun CARRE, “4 Da 未 知 时 ， 可 以 采用 Carroll H 提出 的 方法 获得 3uu 相合 的 ， 无 偏 
的 矩 估 计 ， 本 文 的 结论 仍 成 立 . 

实际 上 ， 由 于 各 种 原因 ， 测 量 误差 是 普遍 存在 的 ， 因 此 ， 研 究 模型 (1) 和 (2) 具有 实用 价 
值 . 不 少 文献 已 经 讨论 了 部 分 线性 EV 模型: 崔 恒 建 癌 考虑 了 有 重复 观测 的 部 分 线性 BV 模 
型 ， 给 出 了 诸多 估计 及 估计 的 性 质 ，Liang 等 站 考虑 了 部 分 线性 EV 模型 ， 在 测量 误差 协 方差 
已 知 的 情形 下 ， 获 得 了 参数 和 非 参 数 估计 及 渐 近 性 质 ，Zhu Al Cuill 考虑 了 参数 部 分 和 非 参 数 
部 分 均 含 有 误差 的 情形 ， 通 过 利用 和 矩 和 反 卷 积 方法 给 出 了 未 知 参数 的 估计 ， 并 给 出 了 估计 的 相 
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合 性 和 渐 近 正 态 性 . 关于 纵向 数据 下 部 分 线性 模型 的 讨论 ， 可 以 参见 Xue 和 Zhu 名， 田 萍 和 薛 
gR, Fan M LIN 等 的 工作 . 

本 文 考 虑 纵向 数据 下 部 分 线性 EV 模型 同时 进行 变量 选择 和 估计 未 知 参 数 的 问题 . 目 
前 ， 半 参数 模型 的 变量 选择 问题 受到 了 统计 学 者 的 重视 . Fan 和 Li 中 研究 了 纵向 数据 下 半 
参数 模型 的 变量 选择 ，Liang 和 Lilgl 考虑 了 部 分 线性 EV 模型 的 变量 选择 . 本文 的 目的 是 采 
FA Fan 和 Li 提出 的 SCAD 惩罚 方法 同时 进行 变量 选择 和 估计 未 知 参 数 .， SCAD 方法 具有 一 些 
优点 : 首先 ，SCAD 惩罚 方法 同时 进行 变量 选择 和 估计 参数 ， 得 到 的 估计 具有 Orcale 性 质 ， 其 
R, Fan MLIN 也 给 出 了 一 个 局 部 二 次 逼近 的 算法 . 基于 这 些 优 点 ，SCAD 惩罚 已 经 成 为 一 个 
非常 流行 的 变量 选择 方法 ， 一 些 相关 的 工作 可 以 参见 文献 [7-11. 为 了 变量 选择 ， 我 们 将 8 分 
解 为 8= (BPT, BOTT, RRR, RELV 为 8 的 前 s 个 分 量 ， 为 非 零 系 数 ，B42) H BAI 
下 的 p 一 s 个 分 量 ， 为 零 系数 . 


2 ”方法 与 主要 结果 


FIBRE m 是 有 界 的 . 该 假定 意味 着 总 的 样本 容量 NN SDA NAM. 进一步 假 
Wj; (i = 1,2,--- ,n, j=1,2, ,mi) 是 独立 同 分 布 (ii.d.) 的 ， 其 共同 的 密度 是 Lebesgue 可 
测 的 .虽然 时 间 设 计 点 列 的 ii.d. 假 定理 论 上 仅 适 合 随机 设计 情形 ， 但 本 文 的 结果 和 证 明 可 以 
做 适当 修改 后 同样 适合 固定 设计 情形 . 

2.1 惩罚 估计 函数 

在 (1) 式 两 边 求 给 定 工 ; 下 的 条 件 期 望 ， 可 得 

Yi — E(Yi |T;) = [Xi — E(Xij| Ty)] B+ ei (3) 


由 (3) 式 ， 可 以 构造 一 个 关于 B 的 估计 也 数 

U({) = >》 >》 wD) {Wig Mis = W3 B) T Daw}, 

i=1 j=1 

SCH Wi; = Wij — un (Liz), Yig = Yy — p(T) Hw.) 是 一 个 权 函 数 . 这 里 

mL) =E(Wij |T = +), p20) = E(Yi |T = 小 
定义 8 的 惩罚 估计 函数 为 

U?(B) = U(B) — nby(8), (4) 

其 中 5b、(8) = qa(|Bl)sgn(B), ARESA, qal) 是 SCAD 惩罚 函数 中， 定义 为 


(aà — |01) 


A (4) 中 包含 两 个 未 知 函数 Jj1(-) 和 jo(-)， 不 能 直接 应 用 于 6B 的 统计 推断 。 解决 这 个 问题 的 一 
个 自然 想法 是 在 U?(6) 中 用 两 个 估计 量 分 别 代替 它们 . 对 于 固定 的 点 t€ [0,1]， 利 用 核 估 计 法 
分 别 定义 u(t) 和 jz(t) 的 估计 量 


at=) > Wii(t)Wij, Blt = >> > Wij (t) Yi;, 


i=1 j=1 i=1 j=l 


aa( 81) = Af I(I0] < A) + 
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其 中 


Wilt) = Kn(Ty -0 / YSS KaTy =t), 


k=1 j=1 
及 是 带宽 ，Kn(-) = K(-/h) BE K(-) 是 核 函 数 . 
在 U?(B) PIIA Aa (Tiz) 和 fo(Ti;) 分 别 代替 U?(B) 中 的 p(Tiy) 和 jo(Ti;)， 可 以 得 到 U?(B) 
的 一 个 估计 量 UV?(6)， 即 
U?(8) = U(B) — nba (8), 
其 中 


=> y u(t, ij) ){Wi; ( (Yi — Wi TB) + Euub}, 


i=1 j=1 
这 里 i 
Wi; = Wij — fn (Ty), Yj = Yj — fo(Tiy)- 
通过 解 0?(8) = 0， 得 到 6 的 估计 ， 记 为 b. 
2.2 Orcale TER 
假设 Bo 是 6 的 真 值 ， 令 
Gee {9x(|0;|), Bo; #0}, bn = max {q4(|Gojl); Boy # 0}. 


定理 2.1 假设 ou 一 0, bn 20, BAW PEMA C1-C7 MIL, WA, 0 (3) FEB, 
使 得 = By + Op(n-/? + an). 

定理 2.1 表 明 ， 如 果 an = Opn), WARE Vn KARR RHE. 

引入 一 些 记 号 


Ey = diag{ 9) (|Bo1| sen(901), ~~ ,9A(16os| )sen(Fos)}; 


T= lim nt Def FoX g mT}, 
i=1 j=l 


也 一 OO 


Z= lim n`! > zf{ > (Ti;)[(X — (Ti;) + Uij)(ei; — Ui; 8) + Euuh] } ， 
其 中 p®2 = DDT. 
定理 2.2 (Oracle 性 质 ) 假设 第 4 节 中 的 条 件 Cl1-C7 成 立 ， 惩 罚 函 数 满足 
lim pint lim pi qa(0)/à > 0, 
X30, n/2\ + oo， 那么 ， 定 理 2.1 中 的 = (BOT, BOTT 依 概率 1 满足 : 


(i) (稀疏 性 Sparsity) 6) = 0; 
(ii) ( 渐 近 正 态 性 ) 


Va Tu + Ea) (BM ~ 8) + Pir + EA) 6 (Bo)] 全 NO, E11), 


其 中 ©, BARRA Si 和 Tii 分 别 由 三 和 工 的 前 s 行 和 s 列 组 成 . 
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定理 2.2 表 明 ， 所 得 到 的 估计 具有 稀疏 性 ， 也 就 是 ， 为 了 减少 复杂 性 ， 估 计量 自动 把 很 小 的 
系数 估计 成 零 ， 另 一 方面 ， 当 nn 充分 大 时 ,5、 = 0 且 b\(B0) = 0. 因此 ， 定 理 2.2 (ii) BH 


VnTn(B® — B= — N(0,211). 


注意 到 无 论 选 取 什 么 样 的 权 函 数 w(.)， 所 提出 的 估计 有 具有 相合 性 和 渐 近 正 态 性 .但 
是 的 方差 依赖 权 函 数 w(-)， 最 有 效 的 权 函 数 应 选取 1/o2(t)}. o2(#) 往 往 未 知 ， 可 以 采用 核 方 
法 估计 o2(t)， 即 

E E (3 BT Euuh) KY €- tes) 


az = EE 





J 2 Kg (t = tij) 


i=l j= 
HP fij = Vig -WE Br GU tis)» By 和 6(t) 是 选取 权 函 数 w(t) = 1 时 ，B 和 g(t) 的 估计 ， Ki () = 
K*(-/h1) H K*() RAR hy 是 带宽 . 
2.3 ARAA 
采用 Fan 和 Lilg 提出 的 局 部 二 次 逼近 方法 ， 在 非 零 真 值 Bos 的 领域 内 ， 有 
qx(|Bo;|) 


qa( IB;| )sgn(B;) = [Bos | 


g br 


在 一 些 正 则 条 件 下 ， 惩 罚 估计 函数 可 变 为 
n~*/2U?(B) = n-/?U (Bo) — mn/24(6 — bo) — n?o), (5) 
其 中 


A= COIL ALA! — Xu}; 


(8) = diag{ qx(|B1|)/|B1l,:… ,qa( 18pl )/l6pl}- 


HH (5) x, BEAR BON FIBRE: 

步骤 1 解 U(8) = 0 获得 初始 估计 B0; 

步骤 2 pet) — pk + {nA + nN (BF) Â (pE); 

步骤 3 ARER, AP OK, 6 的 最 后 估计 为 

SCAD 惩罚 需要 选择 两 个 参数 a 和 入 ，Fan ALO! 建议 选择 a = 3.7， 因 此 在 整 篇 文章 中 ， 
我 们 选取 a = 3.7， 进一步 地 ， 类 似 Fan 和 Lilg， 本 文采 用 广义 交叉 核实 的 方法 选取 入 ， 最 小 化 
下 式 

RSS(A)/n 

(1—d(d)/n)”’ 
其 中 RSS(A) 是 残 差 平 方 和 ，d(A) = trH{A + OA(BA)}-147] 是 有 效 参 数 的 个 数 . 我们 选择 入 = 
arg mina GCV(A). 


GCV(A) = (6) 


3 ”模拟 结果 
为 了 实施 模拟 ， 由 如 下 模型 产生 数据 


Yi; = sin(0.54Tjj) + XZB + ei, 
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其 中 6 = (0.4,1,1.5,2,0,0,0,0,0,0)7. EMME, Sain = 100,200 和 400 个 个 体 ， 
每 个 个 体 具 有 ni = 3 次 观测 ， 对 每 一 种 情况 ， 实 验 均 重 复 500 次 ， 按照 如 下 方式 产生 
数据 Xij ~ N(1,1.5), r = 1,2,---,10, Ti; ~ U(0,1). eij 来 自 于 N(0,o?)， 组 内 相关 系 
WH peje =P, i= 1,2,…,n, j,k = 1,2,3, Yy 由 模型 产生 . BREW, = Xij 二 Di， 其 
中 Ui; 服从 多 元 正 态 分 布 ， 均 值 为 0， 协 方差 阵 为 0.221710，T10 是 10 x 10 单 位 阵 . Wo = 0.2， 
模拟 了 三 种 不 同 相 关系 数 p = 0.1, 0.5 和 0.8. 选取 权 函 数 w(-) 分 别 为 w(t) = 1 和 w(t) = 
1/62(t)， 获 得 的 8 估计 分 别 记 为 扣 和 所 . 核 函 数 取 K(t) = K*(t) = 0.75(1 一 不)+， 带 宽 
的 选取 采用 类 似 Fan 和 Lit 的 方法 . 

本 文 模拟 考虑 了 两 种 方法 : SCAD 惩罚 方法 (SCAD) M Ly 惩罚 方法 (Lasso). 模拟 了 三 个 指 
bp: “C”，“I” 和 “GMSE”， 其 中 “C” 代 表 零 变量 正确 设 为 0 的 平均 个 数 ，“I” 代 表 非 
零 变 量 错误 设 为 0 的 平均 个 数 ，“GMSE” 计 算 公式 为 


GMSE(B) = (6 — 8)? {Cov(W) — Buu}(B — 8). 


模拟 结果 见 表 1.， 从 表 1 的 模拟 结果 可 以 看 出 : 

1) SCAD 和 Lasso 都 能 减少 模型 的 复杂 性 , 但 SCAD HEF Lasso. SCAD 得 到 的 GMSE 
值 比 Lasso 小 ， 同 时 ， 从 “C” 和 “I” 这 两 个 指标 可 以 看 出 ，SCAD 方 法 比 Lasso 方 法 更 能 
效 选 出 变量 . 随 着 样本 量 增加 ，SCAD 越 来 越 接近 Oracle， 这 与 本 文 的 理论 结果 一 致 ; 

2) 对 于 相同 的 观测 样本 来 说 ， 当 组 内 相关 系数 较 小 时 p = 0.1， 忽 略 弱 相关 按照 独立 数据 
所 得 的 估计 Bi 与 考虑 组 内 相关 所 得 估计 PB 差异 不 大 ， 当 组 内 相关 系数 较 大 时 p = 0.8， 记 的 
估计 效果 比 Bo 差 . 由 于 Br 完全 忽视 了 组 内 相关 性 ， 其 结果 必然 造成 估计 的 效 的 降低 . 


4 ”定理 的 证 阴 


在 证 明 本 文 的 主要 结果 之 前 ， 首 先 列 出 文中 所 需要 的 一 些 正则 化 条 件 : 
Ci: 带宽 满足 = cN-1/5， 对 某 个 常数 c > 0; 

C2: BK.) 是 对 称 的 概率 密度 函数 ， 且 在 它 的 支撑 集 [-1,1] 上 有 界 变 差 ; 
C3: 


sup E( lUz) < œ, sup E(es | Xijr = z, Ti; = t) < ©, 

i Zz,0<t<1 

sup E(X? | Tij = t) < œ, i=1,2, n, 7 =1,2, Mi, r=1,2,:--,p, 
0<t<1 


其 中 Xi jp 是 Xij 的 第 "个 分 量 ; 

C4: 密度 函数 ft) 在 (0,1) 上 是 连续 可 微 的 且 在 [0,1] 上 一 致 有 界 ， 远 离 零 和 无 穷 ; 

C5: g(t) Ml yi, (t) Œ (0,1) 上 是 二 次 连续 可 微 的 ,r = 1,2, p HP p(t) Æ p(t) K 
第 个 分 量 ; 

C6: 械 是 一 个 正定 和 矩阵， 其 中 工 在 2.2 节 中 定义 ; 

C7: 方差 函数 o2(t) 在 to 处 连续 . 

引 理 4.1 设 条 件 C1-C5 成 立 ， 则 


sup Ef ler (Tij) — Ax (Tig )I? Tiz =t] = O(n? + h$), 


sup E[ lali) — ô (Tal? Tig =t] = O(n RE +h’), 
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HEP g(t) = Aalt) — aT (A). 
引 理 4.1 的 证 明 类 似 文献 5] 中 引 理 1 的 证 明 . 


Rl: 不 同 相 关系 数 下 变量 选择 及 参数 的 估计 














p n Method pr Pb 
Cc I GMSE C I GMSE 

0.1 100 Lasso 547 0 0.055 5.38 0 0.053 
SCAD 5.70 0 0.051 5.71 0 0.044 

Oracle 6 0 0.022 6 0 0.021 

200 Lasso 5.90 0 0.046 5.92 0 0.037 

SCAD 5.93 0 0.043 5.93 0 0.031 

Oracle 6 0 0.015 6 0 0.013 

400 Lasso 5.97 0 0.038 6 0 0.039 

SCAD 6 0 0.031 6 0 0.031 

Oracle 6 0 0.012 6 0 0.012 

0.5 100 Lasso 5.40 0 0.068 5.50 0 0.056 
SCAD 5.50 0 0.061 5.70 0 0.047 

Oracle 6 0 0.026 6 0 0.023 

200 Lasso 5.83 0 0.054 5.84 0 0.044 

SCAD 5.86 0 0.050 591 0 0.035 

Oracle 6 0 0.016 6 0 0.015 

400 Lasso 5.90 0 0.048 5.95 0 0.041 

SCAD 5.95 0 0.042 5.98 0 0.036 

Oracle 6 0 0.013 6 0 0.012 

0.8 100 Lasso 5.27 0 0.074 5.45 0 0.056 
SCAD 5.43 0 0.071 5.68 0 0.050 

Oracle 6 0 0.028 6 0 0.025 

200 Lasso 5.34 0 0.064 5.81 0 0.046 

SCAD 5.57 0 0.061 5.89 0 0.038 

Oracle 6 0 0.017 6 0 0.016 

400 Lasso 5.69 0 0.058 5.93 0 0.042 

SCAD 5.87 0 0.052 5.96 0 0.039 

Oracle 6 0 0.015 6 0 0.013 





定理 2.1 的 证 明 Sa, =n? + an B= bo + onu Ellul = C， 其 中 C 是 充分 大 的 党 
数 ， 为 了 证 明定 理 2.1， 仅 需 证 :对 任意 给 定 c， 存 在 一 个 大 的 常数 C， 使 得 对 充分 大 的 m， 我 
们 有 


j TpT ry 
Pf, min Co- B)?E70"(B) > 0} >1-e 
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简单 的 计算 可 得 
n—/2U?(8) = n-/?0 (Bp) +n Âl — B) — nt/2b (8), 
S jix(t) = m(t) — Alt), g(t) = g(t) — g(t), 
i a 1 
ae ee) 一 aT (Po) 


= mae P) + aLL Wid. (Ty) 


s- 


wad w(T, ij Jā ( Taj) Gx ( Tay) = h + Ig + Í. 


结合 引 理 4.1， 类 似 文献 5] 中 引 理 2 的 证 明 可 得 五 = 0,(1), v = 1,2,3. 因此 
T-a 1 
ga o) = a E (7) 
由 引 理 4.1， 可 以 证 明 
AT (8) 


H (7) 和 (8) 可 得 
nÔ (G) = nU (Ao) + nT (Ay — 8) — n? {ba (B) — by (Bo) } 一 ma/2pA(6o) + op(1). 
WR boj #0, A sgn(;) = sgn(Go;). 因此 
aa(|8;| )sgn(B;) — qx( |Boj| )sgn(Bo;) = {qa(|B;|) — qa (|Bo0;|)}sgn(B;). 

如 果 Boy = 0， 上 式 显 然 成 立 .那么 由 中 值 定理 可 得 

nÔ) = nU (Bo) + nT(Bo — B) 

+n" ?diag{q5 (1831 )sen(8;)} (Go — B) — n'/?b (Bo) + op(1), 

Hot 6% PF B; 与 6o 之 间 ， 结 合 上 式 ， 可 以 证 明 
n? (Bo -DB)7TTDP(G) 
(bo — B)7T? {n-/?O(B) — n/b,(8)} 
Op(l — 81) +n? (Bo — 8)" TTT (bo — P) 
+n'/? (Bo — b)" TT diag {4} (87 )sgn(8;)} (0 — 8) — n™? (Bo — 8)? TT bA (B) 
Op(anC) +n? (Bo — B)TTTT (Bo — B) + Op(n? a2b,C?) + O(n? ananC). 


很 容易 看 出 ， 右 边 四 项 中 ， 第 一 ， 三 ， 四 项 由 第 二 项 所 控制 . 那么 ， 对 任意 给 定 e， 存 在 一 个 
大 的 常数 C， 使 得 对 充分 大 的 m， 有 


i 


TohTNA 
Pl N60 Bl =Car, (Bo — 8) T Dr(8) > 0} >1- e. 
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定理 2.2 的 证 明 先 证 (i)， 定理 1 表明 , UV?(8) = 0 存在 Vi 收敛 速度 的 解 P. 


Cn-V2, AEH: 对 7 = s 十 1,s 十 2,… ,Pp， 当 n 一 00 时， 依 概 率 1 有 


U?(8;)>0, 4 0<Bj<en, (9) 
U(B;)<0, 4 一 en<pbB;<0. (10) 


类 似 于 定理 2.1 YEOH TIE O(8;) = Op (in). 因此， 


U?(8;) = nA{Op(n-*/?/d) 十 OA(16i|)/Xsgn(07))}， (11) 


HULDA, AE nA > o AUK 


lim pint. lim Pane qa (8)/à > 0, 


可 知 ，U?(B;) 的 符号 完全 由 RE. 因此 (9), (10) 式 成 立 ， 即 定理 2.2 AY (i) UE. 


现 考虑 BO 的 渐 近 正 态 性 .由 定理 2.1 的 证 明 可 知 
n—/2? (3) = op(1) +n $U (Bo) — n3T (Ê — Bo) — nba (Bo) — 2? E(B — Bo). (12) 


考虑 (12) 式 的 前 s 个 方程 ， 有 


n2 Tu 十 2A){(60) — ps) + (Tir + £a) tba (Bo) } 


Ui (Go) 
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Abstract: The variable selection of the partially linear EV model with longitudinal data is considered 
in this paper. A variable selection procedure is proposed by the SCAD penalty method. With the 
appropriate selection of the tuning parameters, the consistency of the variable selection procedure and 
the Oracle property of the regularized estimators are derived. Numerical simulations are conducted to 
examine the finite sample performance of the proposed method. 

Keywords: partially linear EV model; estimation theory; data analysis, SCAD penalty; Oracle prop- 
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